«Писец» справился с «Тотальным диктантом» на 4-

Нейросеть впервые написала «Тотальный диктант» и справилась с ним лучше, чем предполагади разработчики. ИИ получил оценку между четверкой и тройкой.

Как сообщили в пресс-службе НГУ, нейросеть допустила ряд ошибок, но только в тех словах, которые расслышала неверно. Эксперимент с «Писцом» разработчики провели как раз для сбора статистики разнообразия совершаемых ИИ ошибок и дальнейшей оптимизации системы.

Создатели отметили, при хорошем общем результате ИИ не смог избежать галлюцинаций — ситуация, когда нейросеть воспроизвела грамматически правильный, но семантически неверный ответ, не соответствующий  смыслу запроса.

Старший преподаватель кафедры источниковедения литературы и древних языков Гуманитарного Института НГУ Людмила Буднева рассказала:

«Писцу» вполне можно было бы поставить твердую «тройку», если бы не несколько обстоятельств. Из 276 слов диктанта он пропустил 6, пять из которых стояли в конце предложения, причем в этих случаях он не ставил точку, но следующее предложение начинал с заглавной буквы. В одном месте пропустил предлог «в», шедший предпоследним в предложении. Еще 7 слов им было услышано неверно.

При этом разработчики подчеркнули:

Результаты работы «Писца» оказались выше, чем прогнозировалось. Изначально он разрабатывался год назад для автоматического стенографирования звукозаписей интервью или защит диссертаций.  Соответственно, даже 20-30 % ошибок в расшифрованных текстах — это уже тот уровень, который позволяет человеку гораздо быстрее подготовить чистовой текст стенограммы, чем, если бы он писал его «с нуля», прослушивая запись полностью самостоятельно.

изображение Шедеврум